Vào năm 1973, Yamashita thành lập ban nhạc Sugar Babe với các nghệ sĩ khác bao gồm Taeko Ohnuki và Kunio Muramatsu, và 2 năm sau đó họ mới phát hành album đầu tiên và cũng là duy nhất trong sự nghiệp của cả ban nhạc - "Songs".[6] Sau khi nhóm tan rã vào 1976, Yamashita ký hợp đồng với hãng đĩa RCA và bắt đầu sự nghiệp riêng của mình với việc phát hành album Circus Town. Cũng trong năm đó, ông hợp tác với Eiichi Ohtaki, nhà sản xuất của Sugar Babe để ra mắt album mang tựa đề Niagara Triangle Vol. 1.[7] Sự hợp tác này, theo MTV trích dẫn, "đây là một trong sáu sự hợp tác về âm nhạc đã làm thay đổi lịch sử của nền âm nhạc Nhật Bản.[8] Ông đã trở nên nổi tiếng sau album đạt nhiều thành công thương mại "Moonglow" ra mắt năm 1979.[9] Vào năm 1980, ca khúc "Ride on Time" đạt vị trí số #3 trong bảng xếp hạng Oricon, và sau đó album cùng tên cũng đứng đầu bảng xếp hạng này một thời gian sau đó.[10][11]

Với danh nghĩa một nghệ sĩ solo, Yamashita đã cho ra mắt 17 albums phòng thu, 2 albums thu trực tiếp, nhiều tuyển tập và hơn 40 đĩa đơn. Ông là một trong những nam ca sĩ thành công nhất trong lịch sử âm nhạc Nhật bản, với xấp xỉ 9 triệu bản albums được bán ra.[12][13] Ông còn sáng tác các ca khúc nhạc phim và nhạc quảng cáo, đồng thời góp mặt và đồng sản xuất trong nhiều ca khúc của các nghệ sĩ khác. Tên tuổi của ông còn được biết đến nhiều hơn khi kết hôn với Mariya Takeuchi, một ca sĩ rất nổi tiếng thời bấy giờ. Họ đã sinh một con gái.[14]